The Teacher Is a Direction, Not a Destination: Extrapolating RL-Induced Representation Residuals in On-Policy Distillation
教师是方向，而非终点：在策略蒸馏中沿RL诱导表示残差外推
🧭 LLM 蒸馏与RL训练优化 ★ 深度解读
University of Science and Technology of China · Rutgers University · Zhejiang University · Independent Researcher
提出 RIDE，在隐藏状态空间外推教师相对其RL前基座残差，稳定超越教师并优于输出空间外推
📌 工作参考价值（4 点）
- 同初始化蒸馏场景下，把 RL 教师相对基座模型的隐藏状态差作为方向而非仅作为终点，可在策略蒸馏中稳定超越教师；推荐/Agent 模型中若需合并多个领域专家或把 RL 结果蒸馏回 base，可复现类似残差外推目标。
- 输出空间 log-ratio 外推对采样噪声按 (λ−1)² 放大，教师与 base 差距小时尤其不稳定；改用逐层隐藏状态回归可消除条件方差，更适合生成式推荐或对话式 Agent 的稳定训练。
- 语言模型 head 各向异性会削弱隐藏状态残差，弱方向承载大部分能量但输出监督只接收小部分；在蒸馏或轻量适配时，对中间层表示做直接回归能保留更多 RL 带来的行为变化。
- λ 是一个轻量外推系数，λ=1 退化为普通 OPRD；实际业务可从小幅 λ>1 开始，既继续 RL 方向又避免格式/长度崩溃。